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(57) Abstract 

The invention relates to methods and devices for processing a digitized image having image points containing coding information. To 
this end, the image is subdivided into image blocks and the image blocks are in turn subdivided into two subimage blocks. Processing of 
the image is carried out in such a way that a first, a second and a third value are assigned to a subimage block, wherein the first and second 
values describe the relative position of the corresponding image blocks in relation to the image while the third value describes the relative 
position of the corresponding image block in relation to the corresponding image block. The invention also relates to the implementation 
of the method and the utilization of the device in coding and decoding. 

(57) Zusammenfassung 

Es werden Verfahren und Anordnungen zur Bearbeitung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation 
beinhalten, angegeben. Dazu wird das Bild in Bildblocke und jeweils ein Bildblock in zwei Unterbildbldcke aufgeteilt. Die Bearbeitung des 
Bildes wird derart durchgefuhrt, dass einem Unterbildblock jeweils ein erster Wert und jeweils ein zweiter Wert und jeweils ein dritter Wert 
zugeordnet wird, wobei der erste Wert und der zweite Wert die relative Lage des zugehorigen Bildblocks beziiglich des Bildes beschreiben 
und der dritte Wert die relative Lage des zugehorigen Unterbildblocks bezuglich des zugehorigen Bildblocks beschreibt. Des weiteren wird 
die Verwendung des Verfahren und der Anordnung im Rahmen einer Codierung und Decodierung angegeben. 
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Beschreibung 

Verfahren und Anordnung zur Bearbeitung eines digitalisierten 
Bildes 

5 

Die Erfindung bezieht sich auf eine Anordnung und ein Verfah- 
ren zur Bearbeitung eines digitalisierten Bildes, wie sie im 
Rahmen einer Codierung und Decodierung eines digitalisierten 
Bildes eingesetzt und durchgef iihrt werden . 

10 

Ein derartiges Verfahren und eine derartige Anordnung werden 
im Rahmen einer Codierung und Decodierung eines digitalisier- 
ten Bildes entsprechend einem der Bildcodierungsstandards 
H.261 [1], H.263 [2] oder MPEG2 [3], welche auf dem Prinzip 
15 einer blockbasierten Bildcodierung basieren, eingesetzt. Zur 
blockbasierten Bildcodierung wird gemaft [3] das Verfahren ei- 
ner blockbasierten Diskreten Cosinus Transformation (DCT) 
verwendet . 

20 Ein weiterer Ansatz zur Bearbeitung eines digitalisierten 

Bildes entsprechend dem Bildcodierungsstandard MPEG4 ist das 
sogenannte Prinzip der objektbasierten Bildcodierung, wie es 
aus [3] bekannt ist. 

25 Bei der objektbasierten Bildcodierung erfolgt eine Segmentie- 
rung einer Bildvorlage in Bildblbcke entsprechend in einer 
Szene vorkommender Objekte und eine separate Codierung dieser 
Ob j ekte . 

30 Komponenten einer ublichen Anordnung zu einer Bildcodierung, 
wie sie auch aus [7] bekannt sind, und einer Bilddecodierung 
sind aus Figur 7 zu entnehmen. 

In Figur 7 ist eine Kamera 701 dargestellt, mit der Bilder 
35 aufgenommen werden. Die Kamera 701 kann beispielsweise eine 
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beliebige analoge Kamera 701 sein, die Bilder einer Szene 
aufnimmt und die Bilder entweder in der Kamera 701 digitali- 
siert und die digitalisierten Bilder zu einem ersten Rechner 
702, der mit der Kamera 701 gekoppelt ist, iibertragt oder 
auch die Bilder analog zu dem ersten Rechner 7 02 ubertragt. 
In dem ersten Rechner 702 werden entweder die digitalisierten 
Bilder verarbeitet oder die analogen Bilder in digitalisierte 
Bilder umgewandelt und die digitalisierten Bilder verarbei- 
tet. 

Die Kamera 7 01 kann auch eine digitale Kamera 701 sein, mit 
der direkt digitalisierte Bilder aufgenommen und dem ersten 
Rechner 702 zur Weiterverarbeitung zugefuhrt werden. 

Der erste Rechner 702 kann auch als eine eigenstandige Anord- 
nung ausgestaltet sein, mit der die im Folgenden beschriebe- 
nen Verf ahrensschritte durchgefuhrt werden, beispielsweise 
als eine eigenstandige Computerkarte, die in einem weiteren 
Rechner installiert ist. 

Unter dem ersten Rechner 702 ist im Allgemeinen eine Einheit 
zu verstehen, die eine Bildsignalverarbeitung gemaB dem im 
Folgenden beschriebenen Verfahren durchfuhren kann, bei- 
spielsweise ein mobiles Endgerat (Mobiltelef on mit einem 
Bildschirm) . 

Der erste Rechner 702 weist eine Prozessoreinheit 704 auf , 
mit der die im Weiteren beschriebenen Verf ahrensschritte der 
Bildcodierung und Bilddecodierung durchgefuhrt werden. Die 
Prozessoreinheit 704 ist beispielsweise iiber einen Bus 705 
mit einem Speicher 706 gekoppelt, in dem eine Bildinf ormation 
gespeichert wird. 
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Allgemein konnen die im weiteren beschriebenen Verfahren so- 
wohl in Software als auch in Hardware oder auch teilweise in 
Software und teilweise in Hardware realisiert werden. 

5 Nach erfolgter Bildcodierung in dem ersten Rechner 701 und 

nach einer Obertragung der codierten Bildinf ormation uber ein 
Ubertragungsmedium 707 zu einem zweiten Rechner 708 wird in 
dem zweiten Rechner 70-8 die Bilddecodierung durchgef uhrt . 

10 Der zweite Rechner 708 kann den gleichen Aufbau wie der erste 
Rechner 701 haben. Damit weist der zweite Rechner 708 auch 
einen Prozessor 709 auf, der mit einem Bus 711 mit einem 
Speicher 710 gekoppelt ist. 

15 In Figur 8 ist eine mogliche Anordnung in Form eines Prinzip- 
schaltbilds zur Bildcodierung bzw. Bilddecodierung darge- 
stellt. Die dargestellte Anordnung kann im Rahmen einer 
blockbasierten und zum Teil, wie im Weiteren naher erlautert, 
im Rahmen einer ob j ektbasierten Bildcodierung verwendet wer- 



Bei der blockbasierten Bildcodierung wird ein digitalisiertes 
Bild 801 in iiblicherweise quadratische Bildblocke 820 der 
Grofie 8x8 Bildpunkte 802 oder 16x16 Bildpunkte 802 aufgeteilt 
25 und der Anordnung 803 zur Bildcodierung zugefiihrt. 

Einem Bildpunkt 802 ist iiblicherweise Codierungsinf ormation 
eindeutig zugeordnet, beispielsweise Helligkeits information 
(Luminanzwerte) und/oder Farbinf ormation (Chrominanzwerte) . 



Bei der blockbasierten Bildcodierung wird zwischen verschie- 
denen Bildcodierungsmodi unterschieden . 



20 



den. 



30 



35 



Bei einer sogenannten Intra-Bildcodierung wird jeweils das 
digitalisierte Bild 801 mit der den Bildpunkten 802 des digi- 
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4 

talisierten Bildes 801 zugeordneten Codierungsinf ormation co- 
diert und ilbertragen. 

Bei einer sogenannten Inter-Bildcodierung wird jeweils nur 
eine Dif f erenzbildinf ormation zweier zeitlich auf einanderf ol- 
genden digitalisierten Bildern 801 codiert und tibertragen. 



Die Differenzinformation ist nur sehr klein, falls Bewegungen 
von Bildobjekten in den zeitlich auf einanderf olgenden digita- 
lisierten Bildern 801 gering sind. Sind die Bewegungen groli, 
so entsteht sehr viel Differenzinformation, die schwer zu co- 
dieren ist. Aus diesem Grund wird, wie es aus [3] bekannt 
ist, eine „Bild-zu-Bild"-Bewegung (Bewegungsschatzung) gemes- 
sen und vor der Ermittlung der Differenzinformation kompen- 
15 siert (Bewegungskompensation) . 



20 



25 



30 



35 



Fur die Bewegungsschatzung und die Bewegungskompensation, wie 
sie aus [3] bekannt sind, gibt es unterschiedliche Verfahren. 
Fur die blockbasierte Bildcodierung wird meist ein sogenann- 
tes "Block-Matching-Verfahren" eingesetzt. Es beruht darauf, 
daB ein zu codierender Bildblock mit gleich groBen Referenz- 
bildblocken eines Ref erenzbildes verglichen wird. Als Krite- 
rium fur eine Ubereinstimmungsgute zwischen dem zu codieren- 
den Block und jeweils einem Ref erenzbildblock wird iiblicher- 
weise die Summe der absoluten Dif ferenzen einer Codierungsin- 
f ormation, die jeweils jedem Bildpunkt zugeordnet wird, ver- 
wendet. Auf diese Weise wird eine Bewegungs information fur 
den Bildblock, beispielsweise ein Bewegungsvektor, ermittelt, 
welche mit der Differenzinformation iibertragen wird. 

Zum Umschalten zwischen der Intra-Bildcodierung und der In- 
ter-Bildcodierung sind zwei Schaltereinheiten 804 vorgesehen. 
Zur Durchfuhrung der Inter-Bildcodierung ist eine Subtrakti- 
onseinheit 805 vorgesehen, im der die Differenz der Bildin- 
formation zweier zeitlich auf einanderfolgender digitalisier- 
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ter Bilder 801 gebildet wird. Die Bildcodierung wird uber ei- 
ne Bildcodierungs-Steuereinheit 806 gesteuert. Die zu codie- 
renden Bildblocke 820 bzw. Dif f erenzbildblocke werden jeweils 
einer Transf ormationscodierungseinheit 807 zugefiihrt. Die 
5 Transf ormationscodierungseinheit 807 wendet auf die den Bild- 
punkten 802 zugeordnete Codierungsinf ormation eine Transfor- 
mationscodierung, beispielsweise eine Diskrete Cosinus Trans- 
formation (DCT) f an. 

10 Allgemein kann jedoch zur Bildcodierung jede beliebige Trans- 
f ormationscodierung, beispielsweise eine Diskrete Sinus 
Transformation oder eine Diskrete Fourier Transformation, an- 
gewendet werden. 

15 Durch die Transf ormationscodierung werden Spektralkoef fizien- 
ten (Transf ormationskoef f izienten) gebildet. Die Spektral- 
koef fizienten werden in einer Quantisierungseinheit 808 quan- 
tisiert und einem Bildcodierungsiaultiplexer 821 beispielswei- 
se zu einer Kanalcodierung und/oder zu einer Entropiecodie- 

20 rung zugefiihrt. In einer internen Rekonstruktionsschleif e 

werden die quantisierten Spektralkoef fizienten in einer in- 
versen Quantisierungseinheit 809 invers quantisiert und in 
einer inversen Transf ormationscodierungseinheit 810 einer in- 
versen Transf ormationscodierung unterzogen. 

25 

Ferner wird im Fall der Inter-Bildcodierung in einer Ad- 
diereinheit 811 Bildinf ormation des jeweiligen zeitlich vor- 
angegangenen Bildes hinzuaddiert . Die auf diese Weise rekon- 
struierten Bilder werden in einem Speicher 812 gespeichert. 
30 In dem Speicher 812 ist zur einfacheren Darstellung eine Ein- 
heit zu der Bewegungskompensation 813 symbolisch dargestellt. 

Ferner ist ein Schleif enf ilter (Loopfilter) 814 vorgesehen, 
das mit dem Speicher 812 sowie der Subtraktionseinheit 805 
35 verbunden ist. 
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Dem Bildcodierungsmultiplexer 821 werden zusatzlich zu einer 
ubertragenden Bildinf ormation 822 ein Modusindex zugefuhrt, 
mit dem jeweils angegeben wird, ob eine Intra-Bildcodierung 
5 oder Inter-Bildcodierung vorgenoramen wurde . 

Ferner werden dem Bildcodierungsmultiplexer 821 Quantisie- 
rungsindizes 816 filr die Spektralkoef f izienten zugefuhrt. 



10 



Ein Bewegungsvektor wird jeweils einem Bildblock 820 und/oder 
einem Makroblock 823, der beispielsweise vier Bildblocke 820 
aufweist, zugeordnet und dem Bildcodierungsmultiplexer 821 
zugefuhrt . 

15 Ferner ist eine Inf ormationsangabe zum Aktivieren bzw. Deak- 
tivieren des Schleif enf ilters 814 vorgesehen. Nach Ubertra- 
gung der Bildinformation iiber ein Ubertragungsmedium 818 kann 
in einem zweiten Rechner 819 die Decodierung der iibertragenen 
Information erfolgen. Hierzu ist in dem zweiten Rechner 819 
eine Bilddecodierungseinheit 825 vorgesehen, die beispiels- 
weise den Aufbau einer Rekonstruktionsschleif e der in der Fi- 
gur 8 dargestellten Anordnung aufweist. 



20 



25 



30 



Aus [4] ist eine f ormangepalite Transf ormationscodierung, wie 
sie im Speziellen im Rahmen einer obj ektbasierten Bildcodie- 
rung auf Randbildblocke oder Bildblocke, die nur teilweise 
relevante Codierungsinf ormation beinhalten, angewendet wird, 
bekannt. Die unter Verwendung einer f ormangepaflten Transf or- 
mationscodierung codierten Randbildblocke zeichnen sich da- 
durch aus, daii nur die Bildpunkte codiert werden, die einem 
Objekt zugeordnet sind bzw. fur das Objekt relevante Codie- 
rungsinf ormation aufweisen. 
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Das in [4] beschriebene Verfahren ist eine sogenannte forman- 
gepaftte Diskrete Cosinus Transformation (Shape-Adaptive DCT, 
SA-DCT) . 

Im Rahmen einer SA-DCT werden die einem Bildobjekt zugeordne- 
ten Transf ormationskoef f izienten derart bestimmt, dafl Bild- 
punkte eines Randbildblocks , die nicht zu dem Bildobjekt ge- 
horen, ausgeblendet werden. Auf die verbleibenden Bildpunkte 
wird dann zunachst spaltenweise eine eindimensionale DCT an- 
gewendet, deren Lange der Zahl der verbleibenden Bildpunkte 
in der jeweiligen Spalte entspricht. Die resultierenden 
Transf ormationskoef f izienten werden horizontal ausgerichtet 
und anschliefiend in einer weiteren eindimensionalen DCT in 
horizontaler Richtung mit entsprechender Lange unterzogen. 

Die aus [4] bekannte Vorschrift der SA-DCT geht von einer 
Transf ormationsmatrix DCT-N mit folgendem Aufbau aus: 



mit p, k = 0 ^ N-l . 

Mit N wird eine Grofle des zu transf ormierenden Bildvektors 
bezeichnet, in dem die transf ormierten Bildpunkte enthalten 
sind. 

Mit DCT-N wird eine Transf ormationsmatrix der Grofie NxN be- 
zeichnet . 

Mit p, k werden Indizes bezeichnet mit p, k e [0,N-1], 




Nach der SA-DCT wird jede Spalte des zu transf ormierenden 
Bildblocks gemafi der Vorschrift 



WO 00/25520 



PCT7DE99/0319I 



C-i = 



= — * [ DCT - N (p, k) ] 



(2) 



5 



10 



15 



20 



vertikal transf ormiert . Danach wird die gleiche Vorschrift 
auf die resultierenden Daten in horizontaler Richtung ange- 



wendet . 



In der Computer-Graf ik werden verschiedene Methoden zur Dar- 
stellung eines Objekts auf einem Bildschirm verwendet. 
Eine Methode zur Darstellung eines Objekts ist das sogenannte 
Texture Mapping. 

Aus [5] ist ein solches Texture Mapping bekannt. 

Im Rahmen des Texture Mapping wird ein digitales Bild, welche 
eine Helligkeitsinf ormation (Luminanzwerte) und/oder eine 
Farbinformation (Chrominanzwerte) des darzustellenden Objekts 
beinhaltet, auf eine Oberflache eines dreidimensionalen Mo- 
dells eines darzustellenden Objekts abgebildet. 



Das dreidimensionale Modell 301 des darzustellenden Objekts, 
welches Modell 301 in Figur 3 dargestellt ist, besteht aus ' 
einer raumlichen dreiecksf ormigen Gitterstruktur 301, wobei 
die Eckpunkte 302 der Dreiecke 303 als Punkte 304 eines kar- 
25 tesischen Koordinatensystems 305 vorliegen. 

Jedem Dreieck 303 ist, wie es in Figur 3 dargestellt ist, je- 
weils eine sogenannte blockf ormige Strukturkarte 306 zugeord- 
net, die aus rechteckig bzw. blockformig angeordneten Bild- 
30 punkten 307 aufgebaut ist. Jedem Bildpunkt 307 ist iiblicher- 
weise eine Helligkeitsinf ormation (Luminanzwerte) und/oder 
eine Farbinformation (Chrominanzwerte) zugeordnet. 



I 
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Dem Dreieck 303 wircl derart die Helligkeits- oder Farbinfor- 
mation zugeordnet, daii jeweils einem Eckpunkt 302 und 308 des 
Dreiecks 303 und 309 ein zugehoriger Bildpunkt 307 der zuge- 
horigen Strukturkarte 306 zugeordnet ist. 

5 

Die Lage eines Eckpunkts 308 des Dreiecks 309 wird durch die 

Angabe von Koordinaten (ui,vj_) 310 in einem zweidimensionalen 

Koordinatensystem (u,v) 311, welches der Strukturkarte 306 
zugeordnet ist, festgelegt. Oblicherweise werden die Koordi- 

10 naten (ui/Vi) 310 normiert. 

Uber eine Transf ormationsvorschrif t (Zuweisung bzw. Zuwei- 
sungsschlussel ) wird jedem Eckpunkt 302 von jedem Dreieck 303 
des dreidimensionalen Modells 301 der entsprechende Punkt 310 
15 in der zugehorigen Strukturkarte 306 zugewiesen. 

Ferner werden, wie es in Figur 4 dargestellt ist, alle Struk- 
turkarten 401 zu einem digitalisierten Bild 402, einer soge- 
nannten Superstrukturkarte 402, zusammengef aiit , indem die 

20 einzelnen Strukturkarten 401 zeilen- und spaltenweise ange- 
ordnet werden. Gegebenenf alls mussen die Strukturkarten 401, 
die eine fiir die Darstellung des Objekts relevante Codie- 
rungsinf ormation beinhalten, mit Strukturkarten 404, die kei- 
ne fiir die Darstellung des Objekts relevante Codierungsinf or- 

25 mation beinhalten, erganzt werden. 

Das oben beschriebene Verfahren weist aber insbesondere einen 
Nachteil auf. Die Strukturkarten und auch die Superstruktur- 
karte weisen Bildpunkte auf, die keine fiir die Darstellung 
30 des Objekts relevante Helligkeits- oder Farbinf ormation bein- 
halten . 
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Wird die Superstrukturkarte im Rahmen einer Bildiibertragung 
codiert, so wird durch die nicht relevanten Bildpunkte die 
bei der Ubertragung auftretende Datenrate unnotig erhoht. 

Fur die Verbesserung des oben beschriebenen Verfahrens wird 
eine Strukturkarte auf folgende Weise (vgl . Figur 5) bearbei- 
tet : 

Diejenigen Bildpunkte 501 einer Strukturkarte 502, welche 
Bildpunkte eine fur die Darstellung des Objekts relevante Co- 
dierungsinformation beinhalten, werden zu einer neuen drei- 
ecksformigen Strukturkarte 503 mit Bildpunkten 506, die in 
einer vorgegebenen Form, die ublicherweise ein rechtwinkliges 
Dreieck ist, und in einer vorgegebenen GroBe angeordnet wer- 
den, transformiert. Die Transformation wird derart durchge- 
fiihrt, so da£ die Bildpunkte 501, die Eckbildpunkte 504 des 
Dreiecks 505 sind, mit Bildpunkten 506, die Eckbildpunkte 507 
der dreiecksformigen Strukturkarte 503 sind, ubereinstimmen . 

Im Rahmen der Transformation mussen gegebenenf alls Bildpunkte 
durch eine Extrapolation oder eine Interpolation von Werten, 
die eine Helligkeits- oder Farbinf ormation beinhalten, er- 
zeugt oder gegebenenf alls Bildpunkte geloscht werden. 

Damit weist die dreiecksf ormige Strukturkarte 503 nur noch 
Bildpunkte 506 auf, die fur die Darstellung eines Objekts re- 
levant sind. 

Wie in Figur 6 dargestellt ist, werden alle dreiecksformigen 
Strukturkarten 601, die fur Darstellung des Objekts relevante 
Helligkeits- oder Farbinf ormation beinhalten, zu einer neuen 
Superstrukturkarte 602 angeordnet. 



Dazu werden jeweils zwei dreiecksf ormige Strukturkarten 601 
und 601b zu einer blockf ormigen Strukturkarte 603 angeordnet. 



a 



WO 00/25520 



PCT/DE99/03191 



11 

Ferner werden alle blockf ormigen Strukturkarten 603 zeilen- 
und spaltenweise gruppiert, womit ein digitalisiertes Bild 
erzeugt wird. 

5 Aus [5] ist ferner bekannt, dali eine derartige Superstruktur- 
karte, wie sie im Rahmen eines Texture Mapping erzeugt wird, 
bei einer Bildubertragung codiert und decodiert wird, 

Dabei erfolgt iiblicherweise die Codierung und/oder Decodie- 
10 rung einer Superstrukturkarte unter Verwendung einer blocko- 
rientierten Transformation im Intra-Bildcodierungsmodus, wie 
sie oben beschrieben wurde . 

Dieses Vorgehen, wie es im Rahmen einer Bearbeitung eines di- 
15 gitalen Bildes durchgefiihrt wird, ist hinsichtlich einer 

niedrigeren, fur eine Obertragung anzustrebenden Datenrate 
oder einer hoheren Bildqualitat wenig effizient. 

Somit liegt der Erfindung das Problem zugrunde, ein Verfahren 
20 zur Bearbeitung eines digitalisierten Bildes und eine Anord-* 
nung zur Bearbeitung eines digitalisierten Bildes anzugeben, 
mit denen eine effizientere Bearbeitung eines digitalisierten 
Bildes moglich wird. 

2 5 Das Problem wird durch die Verfahren mit den Merkmalen gemaii 
den unabhangigen Anspruchen sowie den Anordnungen mit den 
Merkmalen gemafi den unabhangigen Anspruchen gelost. 

Bei dem Verfahren zur Bearbeitung eines digitalisierten Bil- 
30 des mit Bildpunkten, die eine Codierungsinf ormation beinhal- 
ten, wird das Bild zumindest teilweise in Bildblocke aufge- 
teilt. Jeweils ein Bildblock wird in mindestens zwei zugehd- 
rige Unterbildblocke unterteilt. Die Bearbeitung des Bildes 
wird derart durchgefiihrt, dafi mindestens einem zugehorigen 
35 Unterbildblock jeweils ein erster Wert, ein zweiter Wert und 
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ein dritter Wert zugeordnet werden, wobei der erste Wert und 
der zweite Wert die relative Lage des zugehorigen Bildblocks 
bezuglich des Bildes beschreiben und der dritte Wert die re- 
lative Lage des zugehorigen Unterbildblocks bezuglich des zu- 
gehorigen Bildblocks beschreibt. 

Bei der Anordnung zur Bearbeitung eines digitalisierten Bil- 
des mit Bildpunkten, die eine Codierungsinf ormation beinhal- 
ten, ist ein Prozessor vorgesehen, der derart eingerichtet 
ist, dafi folgende Verf ahrensschritte durchfiihrbar sind: 
Das Bild wird zumindest teilweise in Bildblocke aufgeteilt. 
Jeweils ein Bildblock wird in irtindestens zwei zugehorige Un- 
terbildblocke unterteilt. Die Bearbeitung des Bildes wird 
derart durchgef iihrt , daii mindestens einem der zugehorigen Un- 
terbildblocke jeweils ein erster Wert, ein zweiter Wert und 
ein dritter Wert zugeordnet werden, wobei der erste Wert und 
der zweite Wert die relative Lage des zugehorigen Bildblocks 
bezuglich des Bildes beschreiben und der dritte Wert die re- 
lative Lage des zugehorigen Unterbildblocks bezuglich des zu- 
gehorigen Bildblocks beschreibt. 

Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den 
abhangigen Anspriichen. 

In einer Weiterbildung, die eine Vereinf achung des Verfahrens 
bewirkt, werden die Bildblocke spaltenweise und zeilenweise 
angeordnet und/oder den Spalten Spaltennummern und den Zeilen 
Zeilennummern zugeordnet. Die Zuweisung erfolgt zweckmaiiig 
derart, daii der erste Wert des zugehorigen Unterbildblocks 
die Zeilennummer des zugehorigen Bildblocks ist und der zwei- 
te Wert des zugehorigen Unterbildblocks die Spaltennummer des 
zugehorigen Bildblocks ist. 

In einer weiteren Ausgestaltung weist ein Unterbildblock eine 
andere Form als der zugehorige Bildblock auf. Vorzugsweise 
ist die Form des Unterbildblocks ein Dreieck, welches einen 
rechten Winkel auf weist. Eine solche Form eines Unterbild- 
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blocks reduziert den Rechenauf wand fur eine f ormangepalite 
Trans format ions codie rung . 

Vorzugsweise werden die Unterbildblocke zu dem Bild zusammen- 
5 gefafit. Damit weist das Bild nur solche Bildpunkte auf, die 
die fiir ein Objekt relevante Codierungsinf ormation beinhal- 
ten. 

Ferner ist es vorteilhaft die Unterbildblocke derart zu ver- 
10 andern, dali jeweils die relative Lage eines Unterbildblocks 
bezuglich des zugehorigen Bildblocks identisch ist. Damit 
kann im Rahmen einer Codierung eine f ormangepalite Transf orma- 
tionscodierung und /oder im Rahmen einer Decodierung eine in- 
verse Transf ormationscodierung auf alle Unterbildblocke des 
15 zugehorigen Bildblocks angewendet werden. 

Eine Weiterbildung wird im Rahmen einer Codierung und/oder 
Decodierung des Bildes eingesetzt. 

20 Dabei ist vorteilhaft, die Unterbildblocke unter Verwendung 
der Codierungsinf ormation und/oder unter Verwendung des er- 
sten Wertes, des zweiten Wertes und des dritten Wertes mit 
einer f ormangepaliten Transf ormationscodierung zu codieren 
und/oder mit einer inversen f ormangepaiiten Transf ormationsco- 

25 di erung zu decodieren. Dadurch wird eine effektive Codierung 
und/oder Decodierung des Bildes erreicht. 

Eine Vereinf achung ergibt sich, wenn in einer Weiterbildung 
zur Codierung eine Shape-Adaptive Diskrete-Cosinus- 
30 Transformation (SA-DCT) und/oder zur Decodierung eine inverse 
SA-DCT eingesetzt werden/wird. 

Eine weitere Vereinf achung ergibt sich, wenn zur Codierung 
eine Triangle-Adaptive Diskrete-Cosinus-Transf ormation (TA- 
35 DCT) und/oder zur Decodierung eine inverse TA-DCT eingesetzt 
werden/wird. 
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Ein Ausfiihrungsbeispiel der Erfindung ist in Figuren darge- 
stellt und wird im Weiteren naher erlautert. 

Es zeigen: 

Figur 1 Anordnung zur Bildcodierung und Bilddecodierung mit 
einer Aufnahme eines Objekts mittels einer Kamera und 
einer Darstellung des Objekts auf einem Bildschirm 

Figur 2 Schematische Darstellung der Vorgehensweise zur Bild- 
codierung und Bilddecodierung mit einer Aufnahme eines 
Objekts mittels einer Kamera und einer Darstellung des 
Objekts auf einem Bildschirm 

Figur 3 dreiecksf ormige Gitterstruktur des dreidimensionalen 
Modells mit einer zugehorigen Strukturkarte 

Figur 4 Darstellung einer Superstrukturkarte 

Figur 5 Darstellung einer Transformation einer Strukturkarte 

auf eine dreiecksf ormige Strukturkarte 
Figur 6 Darstellung einer Superstrukturkarte bestehend aus 

dreiecksformigen Strukturkarten 
Figur 7 Anordnung zur Bildcodierung bzw. Bilddecodierung mit 

einer Kamera, zwei Rechnern und einem Obertragungsmedi- 

um 

Figur 8 Skizze einer Anordnung zur blockbasierten Bildcodie- 
rung bzw. Bilddecodierung 

Figur 9 Darstellung der Zerlegung der blockf ormigen Struktur- 
karte 

In Figur 1 ist eine Anordnung zu einer Bildcodierung und ei- 
ner Bilddecodierung mit einer Aufnahme eines Objekts mittels 
einer Kamera und einer Darstellung des Objekts auf einem 
Bildschirm dargestellt. 

In Figur 1 ist eine Kamera 101 dargestellt, mit der Bilder 
eines Objekts 152 aufgenommen werden. Die Kamera 101 ist eine 
analoge Farbkamera, die Bilder des Objekts 152 aufnimmt, und 
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die Bilder in analoger Form zu einem ersten Rechner 102 uber- 
tragt. In dem ersten Rechner 102 werden die analogen Bilder 
in digitalisierte Bilder umgewandelt , wobei Bildpunkte der 
digitalisierten Bilder eine Farbinf ormation des Objekts 152 
5 beinhalten, und die digitalisierten Bilder bearbeitet. 

Das Objekt 152 ist zentriert auf einem Objekttrager 153 ange- 
ordnet. Die relative Lage des Ob j ekttragers 153 bezuglich 
der Kamera 101 ist fest vorgegeben. Durch Rotation des Ob- 
10 jekttrager 153 urn dessen Zentrum kann das Objekt 152 derart 
bewegt werden, so da£ sich bei gleichbleibenden Abstand des 
Objekts 152 zu der Kamera 101 der Blickwinkel, unter den die 
Kamera 101 das Objekt 152 aufnimmt, kontinuierlich verandert. 



15 Der erste Rechner 102 ist als eine eigenstandige Anordnung in 
Form einer eigenstandigen Computerkarte, die in den ersten 
Rechner 102 installiert ist, ausgestaltet , mit welcher Compu- 
terkarte die im Folgenden beschriebenen Verf ahrensschritte 
durchgef uhrt werden . 

20 

Der erste Rechner 102 weist einen Prozessor 104 auf, mit dem 
die im Weiteren beschriebenen Verf ahrensschritte der Bildco- 
dierung durchgef uhrt werden. Die Prozessoreinheit 104 ist 
liber einen Bus 105 mit einem Speicher 106 gekoppelt, in dem 
25 eine Bildinf ormation gespeichert wird. 

Das im Weiteren beschriebene Verfahren zu der Bildcodierung 
ist in Software realisiert. Sie ist in dem Speicher 106 ge- 
speichert und wird von dem Prozessor 104 ausgefiihrt. 

30 

Nach erfolgter Bildcodierung in dem ersten Rechner 101 und 
nach einer Obertragung der codierten Bildinf ormation uber ein 
Ubertragungsmedium 107 zu einem zweiten Rechner 108, wird in 
dem zweiten Rechner 108 die Bilddecodierung durchgef uhrt . An- 
35 schliefiend wird unter Verwendung der decodierten Bildinforma- 
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tion des Objekts 152 ein Modell des Objekts 152 auf einem mit 
dem zweiter Rechner 108 verkniipften Bildschirm 155 darge- 
stellt . 



Der zweite Rechner 108 hat den gleichen Aufbau wie der erste 
Rechner 101. Der zweite Rechner 108 weist auch einen Prozes- 
sor 109 auf, welcher Prozessor mit einem Bus 111 mit einem 
Speicher 110 gekoppelt ist. 

Das im weiteren beschriebene Verfahren zu der Bilddecodierung 
ist in Software realisiert. Sie ist in dem Speicher 110 ge- 
speichert und wird von dem Prozessor 109 ausgefiihrt. 

In Figur 2 ist die Vorgehensweise fur eine Bearbeitung eines 
digitalisierten Bildes im Rahmen einer Codierung und einer 
Decodierung mit einer Aufnahme eines Objekts mittels einer 
Kamera und einer Darstellung des Objekts auf einem Bildschirm 
schematisch dargestellt. 

Diese Vorgehensweise fur die Codierung und die Decodierung 
wird durch die in Figur 1 dargestellte und die oben beschrie- 
bene Anordnung realisiert . 

1. Schritt Aufnahme des Objekts (201) 

Unter Verwendung der Kamera 101 werden, wie es in [7] be- 
schrieben wird, Bilder des Objekts 152, welches in vorgegeben 
Rotationswinkeln mittels des Objekttragers 153 in seiner Lage 
beztiglich der Kamera 101 rotiert wird, aufgenommen. Die Bil- 
der werden in analoger Form zu dem ersten Rechner 102 uber- 
tragen. 



Vor der Durchfuhrung der Aufnahme des Objekts 152 wird die 
Kamera 101, wie es in [7] beschrieben wird, kalibriert, wobei 
eine raumliche Geometrie der Anordnung sowie die Aufnahmepa- 



WO 00/25520 




PO7DE99/03191 



17 

rameter der Kamera 101, beispielsweise die Brennweite der Ka- 
mera 101, bestimmt werden. 

Die Geometriedaten sowie die Kamerapararaeter werden zu dem 
5 ersten Rechner 102 iibertragen. 

2. Digitalisieren der Bilder (202) 

In dem ersten Rechner 102 werden die analogen Bilder in digi- 
10 talisierte Bilder 103 umgewandelt und die digitalisierten 
Bilder 103 bearbeitet. 

3. Bildbearbeitung (203) 

15 Die Bearbeitung der digitalisierten Bilder 103 erfolgt nach 
dem Verfahren einer Automat ischen Dreidimensionalen Modell- 
bildung unter Verwendung mehrerer Bilder eines Objekts, wie 
es in [7] beschrieben ist. 

20 Im Rahmen des Verfahrens der Automatischen Dreidimensionalen 
Mode 1 lb il dung unter Verwendung mehrerer Bilder eines Objekts 
werden zwei Verf ahrensschritte durchgef uhrt : 

In dem ersten Schritt des Verfahrens wird mittels eines Ver- 
25 fahrens zur Bestimmung einer Kontur eines Objekts in einem 

digitalisierten Bild, wie es in [7] genannt wird, unter Ver- 
wendung der Kameraparameter und der digitalisierten Bilder 
103 ein Volumenmodell 301 des Objekts 152 ermittelt. 

30 Das Volumenmodell 301 des Objekts 152, wie es in Figur 3 dar- 
gestellt ist, besteht aus einer raumlichen dreiecksf ormigen 
Gitterstruktur 301, wobei die Eckpunkte 302 der Dreiecke 303 
als Punkte 304 eines kartesischen Koordinatensystems 305 vor- 
liegen . 

35 

In dem zweiten Schritt des Verfahrens wird unter Verwendung 
der digitalisierten Bilder 103 sowie der in Bildpunkten der 
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digitalisierten Bilder 103 beinhalteten Farbinf ormation fur 
jedes Dreieck 303 jeweils eine sogenannte Strukturkarte 306 
bestimmt. 



Die Strukturkarte ist aus blockformig angeordneten Bildpunk- 
ten 307 aufgebaut. Jeder Bildpunkt 307 beinhaltet eine Far- 
binf ormation (Chrominanzwerte) des Objekts 152. 

Dem Dreieck 303 wird die Farbinf ormation zugeordnet, indem 
jeweils einem Eckpunkt 302 und 308 des Dreiecks 303 und 309 
ein zugehoriger Bildpunkt 307 der zugehorigen Strukturkarte 
306 zugeordnet ist. 

Die Lage eines Eckpunkte 308 des Dreiecks 309 wird durch die 
Angabe von Koordinaten (u i/Vi ) 310 in einem zweidimensionalen 
Koordinatensystem (u,v) 311, welches der Strukturkarte 306 
zugeordnet ist, festgelegt. Anschliefiend werden die Koordina- 
ten (uj.,vi) 310 normiert. 

Ober eine Transf ormationsvorschrif t wird jedem Eckpunkt 302 
von jedem Dreieck 303 des dreidimensionalen Modells 301 der 
entsprechende Punkt 310 in der zugehorigen Strukturkarte 306 
zugewiesen. 

Diejenigen Bildpunkte 501 einer Strukturkarte 502, welche 
Bildpunkte eine fur die Darstellung des Objekts 152 relevante 
Farbinformation beinhalten, werden zu einer neuen dreiecks- 
fdrmigen Strukturkarte 503 transf ormiert . Die Bildpunkte 506 
der dreiecksformigen Strukturkarte sind derart angeordnet, so 
daJi sie ein rechtwinkliges und gleichschenkliges Dreieck bil- 
den, wobei ein Schenkel funf Bildpunkte aufweist. Die Trans- 
formation wird derart durchgefiihrt , so dafi die Bildpunkte 
501, die Eckbildpunkte 504 des Dreiecks 505 sind, mit Bild- 
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punkten 506, die Eckbildpunkte 507 der dreiecksf ormigen 
Strukturkarte 503 sind, ubereinstimmen . 

Im Rahmen der Transformation mussen gegebenenf alls Bildpunkte 
durch eine Extrapolation oder eine Interpolation von Werten, 
die die Farbinf ormation beinhalten, erzeugt oder gegebenen- 
falls Bildpunkte gelbscht werden. 

Damit weist die dreiecksf ormige Strukturkarte 503 nur noch 
Bildpunkte 506 auf, die fur die Darstellung eines Objekts re- 
levant sind. 

Wie in Figur 6 dargestellt ist, werden alle dreiecksf ormigen 
Strukturkarten 601, die die fur die Darstellung des Objekts 
relevante Farbinf ormation beinhalten, zu einer neuen Super- 
strukturkarte 602 angeordnet. 

Dazu werden jeweils zwei dreiecksf ormige Strukturkarten 601 
zu einer blockf ormigen Strukturkarte 603 angeordnet- Ferner 
werden alle blockf ormigen Strukturkarten 603 zeilen- und 
spaltenweise gruppiert, wobei ein digitalisiertes Bild er- 
zeugt wird. 

Aufgrund der einheitlichen und vorgegebenen Form der drei- 
ecksf ormigen Strukturkarte 601, der zeilen- und spaltenweisen 
Anordnung der blockf ormigen Strukturkarten 603 und einer vor- 
gegebenen Grofie der Superstrukturkarte 602 ergibt sich eine 
vereinfachte Transf ormationsvorschrif t bzw. ein vereinf achter 
Zuweisungsschlussel, der als sogenanntes Texture Binding be- 
zeichnet wird: 

Jedem Dreieck 303 der raumlichen dreiecksf ormigen Gitter- 
struktur 301 des dreidimensionalen Modell des Objekts 152 

wird ein erster Wert ns/ der die Spaltennummer der zu dem 

Dreieck 303 ' zugehorigen dreiecksf ormigen Strukturkarte 601 
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innerhalb der Superstrukturkarte 602 angibt, ein zweiter Wert 
nz, der die Zeilennummer der zu dem Dreieck 303 zugehorigen 
dreiecksformigen Strukturkarte 601 innerhalb der Superstruk- 
turkarte 602 angibt, und ein dritter Wert n L , der die relati- 
ve Lage der dreiecksformigen Strukturkarte 601a bzw. 601b be- 
zilglich der blockf ormigen Strukturkarte 603 angibt, zugeord- 



net . 



Unter Verwendung des fur jedes Dreieck 303 der raumlichen 
Gitterstruktur 301 angegebenen Wertetripels (n s , n z , n L ) und 
von den vorgegeben Werten hinsichtlich der Hone H (Anzahl der 
Bildpunkte, beispielsweise 80 Bildpunkte) und der Breite B 
(Anzahl der Bildpunkte, beispielsweise 80 Bildpunkte) der Su- 
perstrukturkarte mit der Grofie HxB und der vorgegebenen An- 
zahl der in einem Schenkel des rechtwinkligen und gleich- 
schenkligen Dreiecks angeordneten Bildpunkte Z, mit bei- 
spielsweise Z=5 Bildpunkte, wird eine Zuweisung einer drei- 
ecksformigen Strukturkarte 601 der Superstrukturkarte 602 zu 
dem zugehorigen Dreieck 303 des Volumenmodells 301 des Objekt 
nach folgenden Beziehungen ermittelt: 



A x = 


(Z/B) 


* (n s -l) 


Ay = 


(Z/H) 


* (n z -l) 


B x = 


(Z/B) 


*n s 


By = 


Ay 




C x = 


B x 




Cy = 


(Z/H) 


*n z 
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Fur den Wert nL = 0, der eine innerhalb der blockf ormigen 
Strukturkarte 603 links angeordnete dreiecksf ormige Struktur- 
karte 601a beschreibt, sind die Eckbildpunkte (Ax, Ay), 
(Cx,Cy) und (Dx,Dy) relevant. 

Fur den Wert nL = 1/ der eine innerhalb der blockf ormigen 
Strukturkarte 603 links angeordnete dreiecksf ormige Struktur- 
karte 601b beschreibt, sind die Eckpunkte (A X/ A y ), (C x ,C y ) 

und (B x ,B y ) relevant. 

Dabei geben die beiden Werte, die durch den Index x und durch 
den Index y gekennzeichnet sind, die Koordinaten eines Punk- 
tes der Superstrukturkarte 602 beziiglich eines kartesischen 
Koordinatensystems 610 an, welches in der linken oberen Ecke 
611 der Superstrukturkarte 602 angeordnet ist. 

4. Codierung (204) 

Fur die Codierung der Superstrukturkarte 602 wird eine soge- 
nannte Triangle-Adaptive Diskrete-Cosinus-Transf ormation (SA- 
DCT) verwendet. Dieses Verfahren zur Codierung eines digita- 
lisierten Bildes basiert auf dem Verfahren einer Shape- 
Adaptive Diskrete-Cosinus-Transformation (SA-DCT) , wie es in 
[4] beschrieben ist. 

Im Rahmen einer TA-DCT werden die einem Bildobjekt zugeordne- 
ten Transformationskoef f izienten derart bestimmt, dafi Bild- 
punkte eines Randbildblocks, die nicht zu dem Bildobjekt ge- 
horen, ausgeblendet werden. Auf die verbleibenden Bildpunkte 
wird dann zunachst spaltenweise eine eindimensionale DCT an- 
gewendet, deren Lange der Zahl der verbleibenden Bildpunkte 
in der jeweiligen Spalte entspricht. Die resultierenden 
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Transformationskoeffizienten werden anschlieliend einer weite- 
ren eindimensionalen DCT in horizontaler Richtung mit ent- 
sprechender Lange unterzogen. 

5 Das Verfahren der TA-DCT gent von einer Trans f ormationsmatrix 
DCT-N niit folgendem Aufbau aus : 



DCT - N (p, k) = y * cos 
mit p, k =0 -> N-l . 



p * (k + ±K *' 

V 2) N 



(i; 



Mit N wird eine GroJie des zu transf ormierenden Bildvektors 
bezeichnet, in dem die transf ormierten Bildpunkte enthalten 
sind. 

5 Mit DCT-N wird eine Transf ormationsmatrix der Grofle NxN be- 
zeichnet . 



Mit p,k werden Indizes bezeichnet mit p, k e [0,N-1]. 

) Nach der TA-DCT wird jede Spalte des zu transf ormierenden 
Bildblocks gemaft der Vorschrift 




vertikal transf ormiert . Danach wird die gleiche Vorschrift 
auf die resultierenden Daten in horizontaler Richtung ange- 
wendet . 

Im Rahmen der Codierung einer Superstrukturkarte 602 unter 
Verwendung der TA-DCT wird die Superstrukturkarte 602 in die 
blockformigen Strukturkarten 603 unterteilt. Eine blockformi- 
ge Strukturkarte 603 und 901 wird dadurch in eine erste neue 
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902 und zweite neue blockformige Strukturkarte 903, wie es in 
Figur 9 dargestellt ist, aufgeteilt, dafi fur die Ermittlung 
der ersten neuen blockf ormigen Strukturkarte 602 die Bild- 
punkte der zweiten dreiecksf ormigen Strukturkarte 601b und 
5 904 geloscht werden. Die zweite neue blockformige Struktur- 
karte 903 wird dadurch ermittelt, dai3 die Bildpunkte der er- 
sten dreiecksf ormigen Strukturkarte 601a und 905 geloscht 
werden . 

10 Ferner wird die zweite neue blockformige Strukturkarte 903 
durch Verschieben von Bildpunkten 906 derart verandert, dafi 
die relative Lage der Bildpunkte 906 der zweiten blockf ormi- 
gen Strukturkarte 903 bezuglich der zweiten neuen blockformi- 
gen Strukturkarte 903 mit der relativen Lage der Bildpunkte 

15 907 der ersten neuen blockf ormigen Strukturkarte 902 bezug- 
lich der ersten neuen blockf ormigen Strukturkarte 902 iiber- 
einstimmt . 

Somit kann die TA-DCT entsprechend auf die erste neue block- 
20 formige 902 und auf die zweite neue blockformige Strukturkar- 
te 903 angewendet werden. 

Aufgrund der speziellen relativen Lage der Bildpunkte 90 6 und 
907 bezuglich der ersten neuen blockf ormigen 902 und der 
25 zweiten neuen blockf ormigen Strukturkarte 903 kann die TA-DCT 
eingesetzt werden . 

5. Obertragung (205) 

30 Die unter Verwendung der TA-DCT codierte Bildinf ormation 

(Bildinf ormation der Superstrukturkarte ) wird zusammen mit 
Daten des Volumenmodells des Objekts sowie der Zuweisung (ns/ 
nz/ nL) i <i = 1 . . .N, mit N= Zahl der Dreiecke der Gitter- 
struktur des Volumenmodells) an den zweiten Rechner 108 uber 

35 ein Ubertragungsmedium 107 ubertragen. 
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6. Decodierung (206) 

Nach Ubertragung der codierten Bildinf ormation wird eine 
Bilddecodierung durchgef tihrt . 

Dazu werden die Spektralkoef f izienten cj einer inversen TA- 
DCT zugefilhrt. 



Bei der inversen TA-DCT im Rahmen der Bildcodierung im Int 
Bildcodierungsmodus werden Bildpunkte xj aus den Spektral- 
koef f izienten cj nach folgender Vorschrift (4) gebildet: 



ra- 



Xj = M * [ DCT ~ N (p ' 1 * c j 



(4) 



wobei die Trans format ionsmatrix DCT-N folgendem Aufbau auf- 
weist : 



DCT - N (p, k) = y * cos 
mit p, k = 0 -> N-l . 



p * [k + -J * - 
1 2J N 



(1) 



wobei mit: 

- N eine Groiie des zu transf ormierenden Bildvektors bezeich- 
net wird, in dem die zu transformierenden Bildpunkte enthal- 
ten sind; 

- [DCT-N (p, k) ] eine Transf ormationsmatrix der Grofie NxN be- 
zeichnet wird; 

- p,k Indizes bezeichnet werden mit p, k e [0, N-l]; 

- mit O" 1 eine Inversion einer Matrix bezeichnet wird. 
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Unter Verwendung der ermittelten Bildpunkte xj wird das deco- 
dierte Bild bzw. die Superstrukturkarte 602 bestimmt. 

7. Darstellung des Objekts (207) 

5 

Unter Verwendung der Superstrukturkarte, den Daten des Volu- 
menmodells des Objekts 152 sowie der Zuweisung (ng, nz, njj i 
(i = 1 . . .N, mit N= Zahl der Dreiecke der Gi tterstruktur des 
Volumenmodells) wird, wie es in [6] beschrieben wird, das Mo- 
10 dell des Objekt 152 auf dem Bildschirm 108 dargestellt. 
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im Rahmen dieses Dokuments wurden folgende Dokumente zitiert 

[1] D. Le Gall, „ T he Video Compression Standard for Multime 
dia Applications", Communications of ACM, Vol. 34, No. 
4, S. 47-58, April 1991 



[2. 



14] 



[5] 



G. Wallace, „The JPEG Still Picture Compression Stan- 
dard", Communications of ACM, Vol. 34, No. 4, S. 31-44, 



April 1991 



[3] De Lameillieure, J. , et al . , „MPEG-2-Bildcodierung fur 
das digitale Fernsehen", in FERNSEH- UND KINO-TECHNIK, 
48. Jahrgang, Nr. 3/1994, 1994 



T. Sikora, B. Makai, „Shape Adaptive DCT for Generic Co- 
ding of Video", IEEE Transactions on Circuits and Sy- 
stems for Video Technology, Vol. 5, S. 59 -62, Feb. 1995 

J.D. Foley, et al., Computer graphics: principles and 
practise", 2 nd ed., Adison-Wesley, ISBN 0-20112110-7, s 
741-744 



[6] PANORAMA-technical Support, erhaltlich am 12. Oktober 
1998 unter: http://www.tnt.uni- 
hannover . de/pro j ect /eu/panorama/TS . html 

[7] w. Niem, et al., gapping texture from multiple Camera 
Views onto 3D Objekt Models for Computer Animation", 
Proc. of International Workshop on Stereoscopic and' 
Three Dimensional Imaging, 6.-8.9.1998, Santorini, 
Greece, 1998 
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Patent anspruche 

1. Verfahren zur Bearbeitung eines digitalisierten Bildes mit 
Bildpunkten, die eine Codierungsinf ormation beinhalten, 

a) bei dem das Bild zumindest teilweise in Bildblocke aufge- 
teilt wird; 

b) bei dem jeweils ein zugehoriger Bildblock in mindestens 
zwei zugehorige Unterbildblocke unterteilt wird; 

c) bei dem die Bearbeitung des Bildes derart durchgefuhrt 
wird, dafi mindestens einem zugehorigen Unterbildblock je- 
weils ein erster Wert, ein zweiter Wert und ein dritter 
Wert zugeordnet werden, wobei der erste Wert und der zweite 
Wert die relative Lage des zugehorigen Bildblocks bezuglich 
des Bildes beschreiben und der dritte Wert die relative La- 
ge des zugehorigen Unterbildblocks bezuglich des zugehori- 
gen Bildblocks beschreibt. 

2. Verfahren nach Anspruch 1, 

bei dem der zugehorige Bildblock in mehrere zugehorige Un- 
terbildblocke unterteilt wird. 

3. Verfahren nach Anspruch 1 oder 2 , 

bei dem jedem zugehorigen Unterbildblock jeweils der erste 
Wert, der zweite Wert und der dritte Wert zugewiesen wer- 
den, 

4. Verfahren nach einem der Anspruche 1 bis 3, 

bei dem die Bildblocke spaltenweise und zeilenweise ange- 
ordnet werden und/oder den Spalten Spaltennummern und den 
Zeilen Zeilennummern zugeordnet werden, 

5. Verfahren nach Anspruch 4, 

bei dem der erste Wert des zugehorigen Unterbildblocks die 
Zeilennummer des zugehorigen Bildblocks ist und der zweite 
Wert des zugehorigen Unterbildblocks die Spaltennummer des 
zugehorigen Bildblocks ist. 
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6. Verfahren nach einem der Anspruche 1 bis 5, 

bei dem die zugehorigen Unterbildblocke eine andere Form 
als der zugehorige Bildblock aufweisen. 

7. Verfahren nach einem der Anspruche 1 bis 6, 

bei dem die Unterbildblocke eine Dreiecksform aufweisen. 

8. Verfahren nach Anspruch 7, 

bei dem die Dreiecksform einen rechten Winkel aufweist. 

9. Verfahren nach einem der Anspruche 1 bis 8, 

bei dem die zugehorigen Unterbildblocke derart verandert 
werden, daB jeweils die relative Lage eines zugehorigen Un- 
terbildblocks bezuglich des zugehorigen Bildblocks iden- 
tisch ist. 

10. Verfahren nach einem der Anspruche 1 bis 9, 
eingesetzt im Rahmen einer Codierung des Bildes. 

11. Verfahren nach Anspruch 10, 

bei dem die Unterbildblocke unter Verwendung der Codie- 
rungsinformation und/oder unter Verwendung des ersten Wer- 
tes, des zweiten Wertes und des dritten Wertes mit einer 
formangepafiten Transf ormationscodierung codiert werden. 

12. Verfahren nach Anspruch 11, 

bei dem zur Codierung eine f ormangepaBte Diskrete-Cosinus- 
Trans formation (DCT) eingesetzt wird. 

13. Verfahren nach Anspruch 12, 

bei dem zur Codierung eine Shape-Adaptive Diskrete-Cosinus- 
Transformation (SA-DCT) eingesetzt wird. 

14. Verfahren nach Anspruch 13, 

bei dem zur Codierung eine Triangle-Adaptive Diskrete- 
Cosinus-Transformation (TA-DCT) eingesetzt wird. 
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15. Verfahren nach einem der Ansprtiche 1 bis 9, 
eingesetzt im Rahmen einer Decodierung des Bildes. 

16. Verfahren nach Anspruch 15, 

bei dem zur Decodierung eine inverse formangepafite Diskre- 
te-Cosinus-Transf ormation (DCT) eingesetzt wird. 

17. Verfahren nach Anspruch 16, 

bei dem zur Decodierung eine inverse Shape -Adaptive Diskre- 
te-Cosinus-Transformation (SA-DCT) eingesetzt wird. 

18. Verfahren nach Anspruch 17, 

bei dem zur Decodierung eine inverse Triangle-Adaptive Dis- 
krete-Cosinus- Trans formation (TA-DCT) eingesetzt wird. 

19. Verfahren nach einem der Anspriiche 1 bis 18, 

bei dem das Bild zumindest teilweise dreiecksf ormige Struk- 
turkarten auf weist . 

20. Anordnung zur Bearbeitung eines digitalisierten Bildes 
mit Bildpunkten, die eine Codierungsinf ormation beinhal- 
ten, bei der ein Prozessor vorgesehen ist, der derart ein- 
gerichtet ist, daB folgende Verf ahrensschritte durchfuhr- 
bar sind: 

a) das Bild wird zumindest teilweise in Bildblocke aufge- 
teilt; 

b) jeweils ein zugehoriger Bildblock wird in mindestens zwei 
zugehorige Unterbildblocke unterteilt; 

c) die Bearbeitung des Bildes wird derart durchgef uhrt , daft 
mindestens einem der zugehorigen Unterbildblocke jeweils 
ein erster Wert und jeweils ein zweiter Wert und jeweils 
ein dritter Wert zugeordnet wird, wobei der erste Wert und 
der zweite Wert die relative Lage des zugehorigen Bild- 
blocks bezuglich des Bildes beschreiben und der dritte Wert 
die relative Lage des zugehorigen Unterbildblocks bezuglich 
des zugehorigen Bildblocks beschreibt. 
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21. Anordnung nach Anspruch 20, 

bei dem der zugehorige Bildblock in mehrere zugehorige Un- 
terbildblocke unterteilbar ist. 

22. Anordnung nach Anspruch 20 Oder 21, 

bei dem jedem zugehorigen Unterbildblock jeweils der erste 
Wert und jeweils der zweite Wert und jeweils der dritte 
Wert zuweisbar ist. 

23. Anordnung nach einem der Anspriiche 20 bis 22, 

die im Rahmen einer Codierung des Bildes einsetzbar ist. 

24. Anordnung nach Anspruch 23, 

bei der zur Codierung eine formangepaBte Diskrete-Cosinus- 
Transformation (DCT) einsetzbar ist. 

25. Anordnung nach Anspruch 24, 

bei der zur Codierung eine inverse Triangle-Adaptive Dis- 
krete-Cosinus-Transformation (TA-DCT) einsetzbar ist. 

26. Anordnung nach einem der Anspriiche 20 bis 25, 

die im Rahmen einer Decodierung des Bildes einsetzbar ist. 

27. Anordnung nach Anspruch 2 6, 

bei der zur Decodierung eine inverse formangepaBte Diskre- 
te-Cosinus-Trans formation (DCT) einsetzbar ist. 

28. Anordnung nach Anspruch 27, 

bei der zur Decodierung . eine inverse Triangle-Adaptive Dis- 
krete-Cosinus-Transformation (TA-DCT) einsetzbar ist. 




SUBSTITUTE SHEET (RULE 26) 



THIS 



PASe BLANK mpro, 



WO 00/25520 



PCT/DE99/03191 



2/9 



FIG 2 



Aufnahme des 
Objekts 



I 



Digitalisieren der 
Bilder 



I 



Bildbearbeitung 



Codierung 



I 



Ubertragung 



I 



Decodierung 



Darstellung des 
Objekts 



-201 



202 



203 



-204 



205 



206 



207 



SUBSTITUTE SHEET (RULE 26) 



TH ® PAG® BLMK 



W8PT0) 




SUBSTITUTE SHEET (RULE 26) 



THIS "AG £BLA 



^(USPTO) 



WO 00/25520 



PCT/DE99/0319I 



4/9 



401 



FIG 4 



402 

L 



403 



A 


> 






* 




t> 


A 


> 




A 




A 


< 


A 




< 


A 






< 


A 


> 


> 


A 


< 


> 






V 


< 


A 


















A 


> 






A 









404 



SUBSTITUTE SHEET (RULE 26) 



HQE 8LAHK 



(USPTO) 




CD 

to 



SUBSTITUTE SHEET (RULE 26) 




(U8PT0) 




SUBSTITUTE SHEET (RULE 26) 



NK(USPTO) 



WO 00/25520 PCT/DE99/03191 



7/9 



FIG 7 






708 

\ 








\ 

707 




1 — 





709 



710 



SUBSTITUTE SHEET (RULE 26) 



THIS 




(USPTO) 



WO 00/25520 

8/9 



PCT/DE99/03191 



i 

CO 




CO 



SUBSTITUTE SHEET (RULE 26) 



THIS PAflE BLANK mm* 




SUBSTITUTE SHEET (RULE 26) 



THIS PASi BLANK (usftoj 



INTERNATIONAL SEARCH REPORT 



tnte ,onal Application No 

PCT/DE 99/03191 



A. CLASSIFICATION OF SUBJECT MATTER 

IPC 7 H04N7/30 H04N7/26 



According to International Patent Classification (IPC) or to both national classification and IPC 



B. FIELDS SEARCHED 



Minimum documentation searched (classification system followed by classification symbols) 

IPC 7 H04N 



Documentation searched other than minimum documentation to the extent that such documents are included in the fields searched 



Electronic data base consulted during the international search (name of data base and, where practical, search terms used) 



C. DOCUMENTS CONSIDERED TO BE RELEVANT 



Category 3 



Citation of document, with indication, where appropriate, of the relevant passages 



Relevant to claim No. 



SOUCY M ET AL: "A TEXTURE-MAPPING 
APPROACH FOR THE COMPRESSION OF COLORED 3D 
TRIANGULATIONS" 

THE VISUAL COMPUTER, DE, BERLIN, 
vol. 12, no. 10, 

1 January 1996 (1996-01-01), pages 
503-514, XP000196929 
Paragraph II., II I 



1-8,10, 
15, 

19-23,26 



9,11-14, 
16-18, 
24,25, 
27,28 



-/— 



Further documents are listed in the continuation of box C 



0 



Patent family members are listed in annex. 



0 Special categories of cited documents : 

"A" document defining the general state of the art which is not 
considered to be of particular relevance 

"E" earlier document but published on or after the international 
tiling date 

*L" document which may throw doubts on priority claim(s) or 
which is cited to establish the publication date of another 
citation or other special reason (as specified) 

"O" document referring to an oral disclosure, use, exhibition or 
other means 

"P" document published prior to the international filing date but 
later than the priority date claimed 



*T" later document published after the international filing date 
or priority date and not in conflict with the application but 
cited to understand the principle or theory underlying the 
invention 

H X" document of particular relevance; the claimed invention 
cannot be considered novel or cannot be considered to 
involve an inventive step when the document is taken alone 

"Y" document of particular relevance: the claimed invention 

cannot be considered to involve an inventive step when the 
document is combined with one or more other such docu- 
ments, such combination being obvious to a person skilled 
in the art. 

document member of the same patent family 



Date of the actual completion of the international search 

15 March 2000 


Date of mailing of the international search report 

22/03/2000 


Name and mailing address of the ISA 

European Patent Office, P.B. 5818 Patentlaan 2 
NL-2280 HVRijswijk 
Tel. (+31-70) 340-2040, Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 


Authorized officer 

Fassnacht, C 



Form PCT/ISA/210 (second sheet) (July 1992) 



page 1 of 2 



INTE^ 



NATIONAL SEARCH REPORT 



C(Continuation) DOCUMENTS CONSIDERED TO BE RELEVANT 



Inte ional Application No 

PCT/DE 99/03191 



Category J Citation of document, with indication, where appropriate, of the relevant passages 



Relevant to claim No. 



KAUFF P ET AL: "SHAPE-ADAPTIVE DCT WITH 
BLOCK-BASED DC SEPARATION AND DELTA DC 
CORRECTION" 

IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS 
FOR VIDEO TECHNOLOGY, US, IEEE INC. NEW 
YORK, 

vol. 8, no. 3, 1 June 1998 (1998-06-01) 
pages 237-242, XP000767693 

ISSN: 1051-8215 
the whole document 

WO 97 42766 A (MARTI EVA ; PARDAS MONTSE 
(ES); AYUSO FRANCISCO XAVIER (ES); SALEMB) 
13 November 1997 (1997-11-13) 
page 3, line 28 -page 4, line 11 
figures 4-13,20-23 

TEKALP A M ALTUNBASAK Y ET AL: 
"TWO-VERSUS THREE DIMENSIONAL OBJECT BASED 
VIDEO COMPRESSION" 

IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS 
FOR VIDEO TECHNOLOGY, US, IEEE INC. NEW 
YORK, 

vol. 7, no. 2, 1 April 1997 (1997-04-01), 
pages 391-397, XP000687655 

ISSN: 1051-8215 
Paragraph 1-3 

US 5 057 940 A (FUKUHARA TAKAHIRO ET AL) 
15 October 1991 (1991-10-15) 
column 3, line 4 -column 5, line 63 
figures 3,6-8B 



1,10-20, 
23-28 



1-28 



1-10,15, 
19-23,26 



1-10,15, 
19-23,26 



Form PCT/ISA/210 (continuation ol second sheet) (July 1992) 



page 2 of 2 



INTERNATIONAL SEARCH REPORT 

Information on patent family members 



Inte onal Application No 

PCT/DE 99/03191 



Patent document 
cited in search report 


Publication 
date 


Patent family 
member(s) 


Publication 
date 


WO 9742766 


A 


13-11-1997 


EP 


0836784 


A 


22-04-1998 








JP 


11509709 


T 


24-08-1999 


US 5057940 


A 


15-10-1991 


JP 


3121688 


A 


23-05-1991 








KR 


9306535 


B 


16-07-1993 



\ 



Form PCT/ISA/210 (patent family annex) (July 1992) 



(USPTO) 



INTERNATIONALEKTIECHERCHENBERICHT 



Inte tonales Aktenzeichen 

PCT/DE 99/03191 



A. KLASSIFIZIERUNG DES ANMELDUNGSGEGENSTANDES 

IPK 7 H04N7/30 H04N7/26 



Nach der Internationalan Patent klassifikation (IPK) oder nach der nationaien Kfassifikation und der IPK 



B. RECHERCHIERTE GEBIETE 



Recherchierter Mindestprufstoff (Klassif ikationssystem und Klasstfikationssymbole ) 

IPK 7 H04N 



Recherchierte aber nicht zum Mindestprufstoff gehdrende Veroffentlichungen, soweit diese unter die rec here hie rten Gebiete fallen 



W ah rend der internationalen Recherche konsuttierte elektronische Oatenbank (Name der Datenbank und evtl. verwendete Suchbegriffe) 



C. ALS WESENTUCH ANGESEHENE UNTERLAGEN 



Kategorie° 


Bezeichnung der Veroffentlichung, soweit erfordertich unter Angabe der in Betracht kommenden Teile 


Betr. Anspaich Nr. 


X 


SOUCY M ET AL: "A TEXTURE-MAPPING 


1-8,10, 




APPROACH FOR THE COMPRESSION OF COLORED 3D 


15, 




TRIANGULATIONS" 


19-23,26 




THE VISUAL COMPUTER , DE , BERLIN , 






Bd. 12, Nr. 10, 






1. Januar 1996 (1996-01-01), Selten 






503-514, XP000196929 






Abschnltte 1-3 




A 




9,11-14, 






16-18, 






24,25, 






27,28 




-/- 





Weitere Veroffentlichungen sind der Fortsetzung von Feld C zu 
entnehmen 



ID 



Siehe An hang Patentfamilie 



° Besondere Kategorien von angegebenen Veroffentlichungen 
"A" Veroffentlichung, die den allgemeinen Stand der Technik definiert, 
aber nicht als besonders bedeutsam anzusehen ist 

"E" alteres Dokument, das jedoch erst am oder nach dem internationalen 
Anmeldedatum veroffentlicht worden ist 

"L" Veroffentlichung, die geeignet ist, einen Prioritatsanspruch zwerfelhaft er- 
scheinen zu lassen, oder durch die das Veroffentiichungsdatum einer 
anderen im Recherchenbericht genannten Veroffentlichung belegt werden 
soil oder die aus einem anderen besonderen Grund angegeben ist {wie 
ausgefuhrt) 

"O" Veroffentlichung, die sich auf eine mundliche Offenbarung, 

eine Benutzung, eine Aussteltung oder andere MaBnahmen bezieht 
"P" Veroffentlichung, die vor dem internationalen Anmeldedatum, aber nach 
dem beanspruchten Prioritatsdatum veroffentlicht worden ist 



T" Spate re Veroffentlichung, die nach dem internationalen Anmeldedatum 
oder dem Prioritatsdatum veroffentlicht worden ist und mit der 
Anmeldung nicht kollidiert. sondern nur zum Verstandnis des der 
Erfindung zugrundetiegenden Prinzips oder der ihr zugrundeliegenden 
Theorie angegeben ist 

"X" Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann allein aufgrund dieser Veroffentlichung nicht als neu oder auf 
erf inderischer Tatigkett beruhend betrachtet werden 

"Y" Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nicht als auf erfinderischer Tatigkett beruhend betrachtet 
werden, wenn die Veroffentlichung mit einer oder mehreren anderen 
Veroffentlichungen dieser Kategorie in Verbindung gebracht wird und 
diese Verbindung fur einen Fachmann naheliegend ist 
Veroffentlichung, die Mitglied derselben Patentfamilie ist 



Datum des Abschlusses der internationalen Recherche 

15. Marz 2000 


Absendedatum des internationalen Recherche nberichts 

22/03/2000 


Name und Postanschrift der Internationalen Recherc hen be horde 
Europaisches Patentamt, P. B. 5616 Patentfaan 2 
NL - 2280 HV Rijswijk 
Tel. (+31-70) 340-2040, Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 


Bevollmachtigter Bediensteter 

Fassnacht, C 



Formblafl PCT/ISA/210 (Blatt 2) (Jul) 1 992) 



Seite 1 von 2 



INTERNATIONATER RECHERCHENBERICHT 



tnte .onales Aktenzeichen 

PCT/DE 99/03191 



C(Fortsetzung) ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie* Bezeichnung der Veroffentlichung, soweit ertorderlich unter Angabe der in Betracht kommenden Teile 



Betr. Anspruch Nr. 



KAUFF P ET AL: "SHAPE-ADAPTIVE DCT WITH 
BLOCK-BASED DC SEPARATION AND DELTA DC 
CORRECTION" 

IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS 
FOR VIDEO TECHNOLOGY, US, IEEE INC. NEW 
YORK, 

Bd. 8, Nr. 3, 1. Juni 1998 (1998-06-01), 
Seiten 237-242, XP000767693 

ISSN: 1051-8215 
das ganze Dokument 

WO 97 42766 A (MARTI EVA ; PARDAS MONTSE 
(ES); AYUSO FRANCISCO XAVIER (ES); SALEMB) 
13. November 1997 (1997-11-13) 
Seite 3, Zeile 28 -Seite 4, Zeile 11 
Abbildungen 4-13,20-23 

TEKALP A M ALTUNBASAK Y ET AL: 
"TWO-VERSUS THREE DIMENSIONAL OBJECT BASED 
VIDEO COMPRESSION" 

IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS 
FOR VIDEO TECHNOLOGY, US, IEEE INC. NEW 
YORK, 

Bd. 7, Nr. 2, 1. April 1997 (1997-04-01), 
Seiten 391-397, XP000687655 

ISSN: 1051-8215 

Abschnitte II. , III. 

US 5 057 940 A (FUKUHARA TAKAHIRO ET AL) 
15. Oktober 1991 (1991-10-15) 
Spalte 3, Zeile 4 -Spalte 5, Zeile 63 
Abbildungen 3,6-8B 



1,10-20, 
23-28 



1-28 



1-10,15, 
19-23,26 



1-10,15, 
19-23,26 



Fonrtbtatt PCTV1SA/210 (Fortseaung von Blalt 2) (Juli 1992) 



Seite 2 von 2 



INTERNATIONALER 



HERCHENBERICHT 



Angaben zu Veroffentlichunyen, die zur selben Patentfamitie gehdren 



fnt£ onales Aktenzeichen 

PCT/DE 99/03191 



lm Recherchenbericht 
angefuhrtes Patentdokument 



Datum der 
VertSffentlichung 



Mitglied(er) der 
Patentfamilie 



Datum der 
VerdffenBichung 



WO 9742766 



13-11-1997 



EP 
JP 



0836784 A 
11509709 T 



22-04-1998 
24-08-1999 



US 5057940 



15-10-1991 



JP 
KR 



3121688 A 
9306535 B 



23-05-1991 
16-07-1993 



FormblaTt PCT/ISA/210 (Anhang Paienifamtlie)(Juli 1992) 



THIS PMi BLANK mm, 



